Ông là Ủy viên Trung ương Đảng Cộng sản Việt Nam các khóa V, VI, VII, VIII, IX (từ năm 1982 đến năm 2006)

Tháng 5 năm 1987, ông được bầu làm Đại biểu Quốc hội khóa VIII. Từ tháng 7 năm 1987 đến tháng 7 năm 1992, là Ủy viên Hội đồng Nhà nước. Từ tháng 7 năm 1987 đến tháng 6 năm 1988 là Chủ nhiệm Ủy ban Thanh niên, thiếu niên và nhi đồng của Quốc hội.

Từ tháng 12 năm 1987 đến tháng 7 năm 1992, là Chủ nhiệm Văn phòng Quốc hội và Hội đồng Nhà nước. Ông đã thay đổi lề lối hoạt động của Văn phòng Quốc hội như cho truyền hình trực tiếp các phiên họp, bỏ phiếu bằng máy móc, tăng cường giao lưu với Nghị viện các nước.

Từ tháng 7 năm 1992 đến tháng 7 năm 2002, là Đại biểu Quốc hội, Ủy viên Ủy ban thường vụ Quốc hội, Chủ nhiệm Văn phòng Quốc hội.

Từ tháng 7 năm 2002 đến tháng 7 năm 2007 là Đại biểu Quốc hội, Ủy viên Ủy ban thường vụ Quốc hội, Chủ nhiệm Ủy ban đối ngoại của Quốc hội.

Ông cũng được biết đến như một người khởi xướng và tổ chức sáng kiến đổi mới hoạt động của Quốc hội Việt Nam.